#LLM Ranking

3 篇

PersonalQuery-Benchmark:Evaluating Retrieval Robustness to Personalized User Expression Differences

个性化查询基准：评估检索对用户表达差异的鲁棒性

🧭 个性化检索鲁棒性评测基准

Monash University · University of Queensland · Southeast University

构建首个个性化查询表达差异基准 PQB，揭示检索效果高不等于对句法与书写错误鲁棒

📌 工作参考价值（4 点）

构建用户表达差异测试集：从真实用户历史文本中挖掘个性化句法习惯和常见书写错误，生成同一信息需求的多版本 query，用于评估检索/排序模型在真实用户表达波动下的稳定性。
评估模型鲁棒性与效果分离：不要只看整体 nDCG/MRR，需单独报告模型对句法变化和拼写错误变化的敏感度；高效果模型可能对用户表达变化更脆弱，在电商搜索中直接导致长尾用户流失。
用 LLM 生成 query 变体 + 人工校验：可用 LLM 基于用户历史文本生成个性化句法改写和拼写错误变体，再用 LLM 评估与少量人工标注做质量校验，低成本构造大规模鲁棒性测试集。
检索架构选择参考：论文覆盖 lexical、learned sparse、dense bi-encoder、late-interaction、hybrid 五类检索架构，其鲁棒性差异可作为电商搜索技术选型的参考——需根据业务对用户输入噪声的容忍度选择合适架构。

Eval | 2026-10-23 | cs.IR | score 7/10

当记忆接受梯度：面向智能体推荐系统的协同向量记忆

🧭 Agent 记忆设计 · 协同向量记忆 ★ 深度解读

Shenzhen Technology University

用 LightGCN 协同状态作为 LLM Agent 持久记忆，通过对比对齐和掩码 listwise 协同训练让模型学会读取向量记忆，在 4 个指令推荐基准上超过文本记忆 Agent 且零额外维护调用

📌 工作参考价值（4 点）

把 Agent 的用户记忆从“文本叙事”拆成“轻量文本画像 + 冻结协同向量记忆”。电商/推荐场景可复用已有的 LightGCN、SASRec、SVD++ 等用户与物品 embedding 作为记忆库，避免每次交互后调用 LLM 重写，省去大量 token 与串行延迟。
采用 candidate-conditioned retrieval：用当前候选集 embedding 质心去用户历史里检索 top-K 最相关物品状态，而不是取最近 K 个；这对排序/推荐 Agent 在线推理便宜且与当前决策相关。
不要只把 embedding 塞进 prompt。需要 gated projector + 低秩 LoRA 构成可训练的 memory reader，并用“候选 title 随机 mask + listwise margin loss”强制模型依赖协同 token；否则 LLM 会走文本捷径，向量 token 反而干扰。
推理阶段用 pointwise yes/no logit 打分并并行请求，避免 listwise 生成排序的解析失败；指令位置可以用只基于训练集统计量的零样本规则卡选择，避免验证集泄漏。

Agent | 2026-08-27 | cs.IR | score 10/10

EviRank：基于证据的 LLM 排序置信度估计

🧭 LLM 重排序 · 置信度估计 ★ 深度解读

Xidian University

通过单次前向传播提取三种证据并融合，实现位置级置信度估计与重排序，同时提升推荐质量和不确定性建模。

📌 工作参考价值（4 点）

可直接复用单次前向传播提取置信度的思路：从 LLM 的 hidden state 计算语义差距、注意力熵、输出概率差，无需多轮采样，推理零额外开销，适合在线重排场景。
位置感知校准的 NDCG 折扣目标可迁移至电商推荐：将置信度校准为与位置重要性一致，用 (confidence * NDCG weight) 进行 sigmoid 映射，缓解 LLM 输出概率普遍偏低的扁平分布问题。
可靠意见聚合中的可靠性系数值得借鉴：按各证据源自身的不确定性动态加权融合，比简单平均或 Dempster 组合更鲁棒，可应用于多信号融合的 Agent 决策或排序融合。
置信度加权重排公式简洁有效：用置信度缩放 logits 再 softmax，结合 BPR 损失端到端训练，可直接嵌入现有 LLM4Rerank 管道，适合电商场景中候选集重排。

RecSys | 2026-06-03 | cs.IR | score 10/10